MatrixFormer: A Foundation Model for Matrix Completion
MatrixFormer：矩阵补全基础模型
🧭 矩阵补全基础模型 · 零样本推荐评分 ★ 深度解读
Columbia University · Cornell Tech
二维网格 token + 轴向注意力的预训练矩阵补全模型，零样本跨域完成插补、评分预测与因果面板补全
📌 工作参考价值（4 点）
- 二维矩阵原生表示替代 entry-wise 展开：把 user-item 评分矩阵或特征矩阵直接建模为二维 token 网格，用轴向 attention（行内 feature attention + 列内 datapoint attention）同时捕捉用户维度和物品维度结构，避免像 TabImpute 那样把每个 entry 变成一条样本导致上下文重复、显存爆炸；在大规模稀疏矩阵补全或召回后特征填充场景可直接复用该架构。
- 合成低秩/潜因子矩阵预训练，零样本迁移：训练时完全用合成矩阵，显式混合低秩、宽秩谱、潜因子以及 MCAR/MAR/MNAR 多种缺失机制，并加入稀疏行/列模拟冷启动；训练好的权重可以不做 fine-tune 直接用于真实推荐评分矩阵、表格缺失值、甚至 LLM benchmark score completion，适合作为内部数据补全或缺失特征填充的基础组件。
- Observed-error ensembling 做领域自适应：用观测样本上最小化标准化重构误差拟合通用补全专家和推荐专家的混合权重，权重解析、单一标量、无需训练；在跨域或新业务数据上可以先跑两个专家、按观测误差自动决定谁的预测更可信，这是一种低成本的多模型融合 trick。
- 单次前向 + 窗口推理支持大规模矩阵：模型一次前向预测全部缺失值，固定列宽下随行数扩展比 entry-wise 方法快 107×；实际线上可用窗口/分块策略（如最多 2000 行、1000 列）处理大矩阵，并在重叠窗口取平均，兼顾速度与精度。